“数据抓取”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果2572083个，建议您升级VIP下载更多相关专利

[发明专利]一种数据抓取方法、系统、设备及可存储介质-CN202211575588.4在审
发明人：尚桐颖 -专利权人：广州富莱星科技有限公司
申请日： 2022-12-09 - 公布日： 2023-03-03 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种数据抓取方法、系统、设备及可存储介质，方法包括获取用户数据抓取请求；依据用户数据抓取请求返回数据抓取需求设置页面进行填写；依据填写的数据抓取需求生成数据抓取规则；依据数据抓取规则生成数据抓取任务；依据所述数据抓取任务进行数据抓取；通过依据用户数据抓取请求返回数据抓取需求设置页面进行填写，能够依据填写的数据抓取需求生成数据抓取规则，并依据数据抓取规则生成数据抓取任务，从而准确抓取到用户所需的数据，大大提高数据抓取的效率。
一种数据抓取方法系统设备存储介质

[发明专利]一种数据抓取方法及系统-CN202011098577.2在审
发明人：熊涛;房辉 -专利权人：深圳市天维大数据技术有限公司
申请日： 2020-10-14 - 公布日： 2021-01-22 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据抓取方法，包括以下步骤：获取并发送数据抓取请求；根据数据抓取请求生成并发送数据抓取规则；根据数据抓取规则建立数据抓取任务；根据数据抓取任务设定一个或多个数据抓取节点；将数据抓取任务下发到各个数据抓取节点，通过数据抓取节点抓取数据，并将抓取的数据发送至终端。本发明还公开了一种数据抓取系统。本发明具有可对数据进行准确抓取，保证数据抓取精确度，提高数据抓取效率优点。
一种数据抓取方法系统

[发明专利]一种数据抓取及保存方法、装置、计算机设备及存储介质-CN201910730486.7有效
发明人：邵健锋;崔巍 -专利权人：深圳市今天国际物流技术股份有限公司
申请日： 2019-08-08 - 公布日： 2023-06-20 - 主分类号： G06F16/951 文献下载
摘要：本发明公开了一种数据抓取及保存方法、装置、计算机设备及存储介质，所述数据抓取及保存方法包括在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；对所述多台数据抓取设备抓取数据的抓取时间进行同步；将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；响应于接收到的数据请求指令，返回所述指定时间对应的记录，或者，获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回。该方法能够避免出现数据丢失的状况，实现连续、稳定地抓取和保存数据以及对齐数据。
一种数据抓取保存方法装置计算机设备存储介质

[发明专利]一种分布式垂直爬虫方法及终端设备-CN201810547735.4在审
发明人：张中月;姜仕鹏;孙岳;倪安 -专利权人：深圳市酷达通讯有限公司
申请日： 2018-05-31 - 公布日： 2018-11-23 - 主分类号： G06F17/30 文献下载
摘要：本发明适用于信息检索技术领域，提供了一种分布式垂直爬虫方法及终端设备，包括：中控平台将抓取任务发送至任务分发平台；任务分发平台根据抓取任务的任务类型、数据抓取平台的终端类型、数据抓取平台的网络类型和数据抓取平台的爬取能力中的至少一种，确定抓取任务的分发策略，并根据分发策略，将抓取任务分发至数据抓取平台；数据抓取平台根据抓取任务进行数据抓取，并将抓取结果发送至数据分析平台；数据分析平台根据抓取结果，加载预设置的数据萃取策略，判断是否有新的抓取任务，若有，将新的抓取业务通过任务分发平台分发至数据抓取平台，若无，将抓取结果发送至中控平台。该方法解决了数据量巨大时爬虫端抓取效率较低的问题。
抓取数据抓取任务分发爬虫数据分析平台分发策略结果发送终端设备垂直信息检索技术任务发送任务类型网络类型业务通过终端类型数据量预设置加载萃取分发

[发明专利]一种数据抓取系统及数据抓取方法-CN202110906074.1在审
发明人：童华兵 -专利权人：南京今日商讯信息科技有限公司
申请日： 2021-08-09 - 公布日： 2021-10-26 - 主分类号： G06F16/9535 文献下载
摘要：本发明公开了一种数据抓取系统及数据抓取方法，包括数据抓取系统、数据搜索模块、数据抓取模块、数据筛选模块、数据接收模块、数据整理模块、数据去重模块、数据传输模块、数据判断模块、数据导出模块、数据存储模块、数据查看模块和数据存储库，本发明一种数据抓取系统及数据抓取方法，通过数据筛选模块，可保证数据抓取系统抓取的数据更加全面，得到的网络数据质量更佳，避免数据庞大复杂的问题，保证人员查看更加方便，且通过数据判断模块来判断抓取的数据是否含有违规和不良信息，避免未成年人接触，保护未成年人的身心发展，提高了数据的抓取质量，抓取数据更加高效，人员使用更加便利。
一种数据抓取系统方法

[发明专利]一种数据抓取系统的数据抓取方法-CN201210141018.4无效
发明人：吴卫平 -专利权人：上海互联网软件有限公司;上海互软信息科技有限公司
申请日： 2012-05-08 - 公布日： 2012-10-24 - 主分类号： G06F17/30 文献下载
摘要：本发明揭示了一种数据抓取系统的数据抓取方法，所述数据抓取系统包括钩子加载模块、抓取钩子模块、配置文件生成模块；所述方法包括：钩子加载步骤：钩子加载模块根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；数据抓取步骤：抓取钩子模块监控其对应进程中业务数据的传递，并抓取相应的业务数据；配置文件生成步骤：配置文件生成模块将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入本发明可抓取C/S构架中的WINDOWS窗口中的控件数据，对其他业务系统进行窗口数据抓取，并将抓取到的数据按照可配置的格式写入文件，提供给其他系统的数据的输入。
一种数据抓取系统方法

[发明专利]一种机械手臂的物体抓取方法及相关装置-CN201910671667.7有效
发明人：刘文印;梁达勇;陈俊洪;张启翔;周小静;叶子涵;朱展模;莫秀云 -专利权人：广州科博锐视科技有限公司
申请日： 2019-07-24 - 公布日： 2021-02-02 - 主分类号： B25J9/16 文献下载
摘要：本申请公开了一种机械手臂的物体抓取方法，包括：采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；根据双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；根据最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，对待抓取物体执行抓取操作。通过训练得到实体分割模型，预测出进行抓取的最佳姿态数据和最佳抓取位置，以及抓取时的最佳抓取力度，增加了进行抓取时参数，提高了抓取过程的准确性以及精度。本申请还公开了一种物体抓取系统、机器人控制设备以及计算机可读存储介质，具有以上有益效果。
一种机械手臂物体抓取方法相关装置

[发明专利]数据抓取方法和装置-CN201510827515.3在审
发明人：颜勇;于晓明;杨建武 -专利权人：北大方正集团有限公司;北京大学;北京北大方正电子有限公司
申请日： 2015-11-24 - 公布日： 2017-05-31 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种数据抓取方法和装置，其中，该方法包括从预先设定的正常运行的各抓取结点中确定一个分发结点；通过分发节点接收各发送终端发送的各数据抓取请求，数据抓取请求中包括url、发送端地址；通过分发结点将各数据抓取请求分发给各抓取结点；通过各抓取结点根据url抓取数据抓取请求所请求的数据，并通过各抓取结点将数据发送给与发送端地址对应的发送终端。从各抓取结点中确定分发结点，不需要专门设置一个接收并分发各数据抓取请求的管理结点，从而一旦该分发结点无法正常运行，还可以从各抓取结点中确定另外一个分发结点，数据抓取的过程依然可以正常运行，不影响数据抓取的过程；保证了数据抓取工作的正常运行。
数据抓取方法装置

[发明专利]物体抓取位姿的检测方法、装置、设备及存储介质-CN202211216621.4在审
发明人：郑力铭;蔡莹皓;鲁涛;王硕 -专利权人：中国科学院自动化研究所
申请日： 2022-09-30 - 公布日： 2023-01-03 - 主分类号： G06T7/73 文献下载
摘要：本发明提供一种物体抓取位姿的检测方法、装置、电子设备及存储介质，包括：获取目标前景物体的种子点数据集，种子点数据集中不同种子点数据表征杂乱场景中目标前景物体在不同初始位置的不同初始局部特征；基于种子点数据集，确定目标前景物体的候选抓取点数据集，候选抓取点数据集表征种子点数据对应的目标数量个区域中存在候选抓取点数据及候选抓取点数据的候选位置和候选局部特征；基于候选抓取点数据集，预测目标前景物体的目标抓取位姿，目标抓取位姿表征针对候选抓取点数据集划分的候选抓取点数据簇预测抓取位姿且抓取位姿的质量评分满足预设质量需求。本发明能够提高抓取目标前景物体位姿的效率，扩展抓取目标前景物体位姿的适用范围。
物体抓取检测方法装置设备存储介质

[发明专利]数据抓取方法、装置及计算机可读存储介质-CN201910041304.5在审
发明人：檀传华;冉梦龙;孟文斌;李祖光;陈锦韬 -专利权人：重庆金融资产交易所有限责任公司
申请日： 2019-01-16 - 公布日： 2019-04-12 - 主分类号： G06F16/951 文献下载
摘要：本发明涉及数据采集技术领域，揭露了一种数据抓取方法，该方法包括：接收用户触发的用于数据抓取的规则配置指令，执行规则设置操作，配置数据抓取所需的规则数据；接收数据抓取操作指令，读取已配置的所述规则数据，按照所述规则数据对应的数据抓取规则，建立数据抓取任务；根据建立的所述数据抓取任务，采用分布式多线程的数据抓取方式，抓取目标网站对应的数据；针对已抓取的数据，按照预先配置的数据加工规则进行数据处理，生成对应的结构化数据并存储。本发明还提出一种数据抓取装置以及一种计算机可读存储介质。本发明可根据不同应用的数据需求，配置化实现数据组装功能并对接下游传输数据，提高了数据处理效率。
数据抓取抓取规则数据计算机可读存储介质数据采集技术数据处理效率数据抓取装置读取结构化数据操作指令传输数据规则配置规则设置接收数据接收用户目标网站配置数据数据加工数据需求数据组装预先配置数据处理多线程配置的触发存储指令配置应用

[发明专利]网页数据抓取方法、装置、设备以及存储介质-CN202310010458.4在审
发明人：吴脂娟;郝伟 -专利权人：安徽华云安科技有限公司
申请日： 2023-01-04 - 公布日： 2023-05-02 - 主分类号： G06F16/951 文献下载
摘要：本公开的实施例提供了一种网页数据抓取方法、装置、设备以及存储介质。该方法包括：对启动之后的网页数据抓取程序进行状态检测，其中，网页数据抓取程序在启动之后，用于根据URL列表中的URL抓取对应的网页数据，并将URL列表中与网页数据对应的URL删除；若检测到网页数据抓取程序处于运行状态，则确定网页数据抓取程序是否卡顿；若卡顿，则重启网页数据抓取程序；若检测到网页数据抓取程序处于停止状态，则确定URL列表是否为空；若不为空，则启动网页数据抓取程序。以此方式，不仅可以使网页数据抓取程序在报错停止或卡顿时自动启动或重启，无需人工监控，还可以使该程序延续上一次的抓取进度，继续抓取网页数据，避免重复抓取。
网页数据抓取方法装置设备以及存储介质

[发明专利]数字孪生机械臂抓取检测方法、装置和设备-CN202211507305.2在审
发明人：任磊;董家宝 -专利权人：北京航空航天大学
申请日： 2022-11-29 - 公布日： 2023-05-23 - 主分类号： G06V20/40 文献下载
摘要：本申请提供一种数字孪生机械臂抓取检测方法、装置和设备。首先获取待抓取物体的点云数据，将点云数据输入预先获取的抓取检测模型，得到多个抓取物体的抓取姿态并对每个抓取姿态的评分，若每个抓取姿态的评分都小于预设分值，则根据点云数据，从预先配置的3D模型数据库中获取与该点云数据对应的物体模型然后基于该物体模型，获取物体模型在不同抓取场景下的7自由度抓取姿态的数据集。根据该数据集对抓取检测模型进行训练，得到更新后的抓取检测模型。将点云数据输入到更新后的抓取检测模型，以确定对待抓取物体的最终抓取姿态。通过本方案，该数字孪生机械臂具备持续学习能力可以应对多变复杂场景中出现的新数据，以实现对物体的抓取。
数字孪生机械抓取检测方法装置设备

[发明专利]一种数据抓取系统的更新方法及装置-CN202111314299.4在审
发明人：黄文强 -专利权人：中国银行股份有限公司
申请日： 2021-11-08 - 公布日： 2022-02-11 - 主分类号： G06F16/951 文献下载
摘要：本申请公开了一种数据抓取系统的更新方法及装置，该方法包括：获取数据抓取栏位信息；当数据抓取栏位信息指示数据抓取栏位已更新时，则判断更新为录入更新或返回更新；当更新为录入更新时，根据抓取的其他信息生成更新信息，对抓取栏位进行录入修复；当更新为返回更新时，通过预留空白抓取栏位显示返回的更新信息。通过对数据抓取栏位更新监控，可以发现现金重空管理系统中数据抓取栏位的更新。并通过自动录入修复和语料空白抓取栏位，在一定程度上可以对数据抓取系统进行自动更新使其适配更新后的现金重空管理系统，且在数据抓取系统更新时不影响现金重空管理系统的正常运行，提高了数据抓取系统的鲁棒性。
一种数据抓取系统更新方法装置

[发明专利]一种数据抓取系统-CN201210141520.5无效
发明人：吴卫平 -专利权人：上海互联网软件有限公司;上海互软信息科技有限公司
申请日： 2012-05-08 - 公布日： 2012-09-05 - 主分类号： G06F17/30 文献下载
摘要：本发明揭示了一种数据抓取系统，所述系统包括钩子加载模块、抓取钩子模块、配置文件生成模块。钩子加载模块用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程。抓取钩子模块用以监控其对应进程中业务数据的传递，并抓取相应的业务数据。配置文件生成模块用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入。本发明提出的数据抓取系统，可方便快捷地抓取其他C/S结构业务系统的数据，并提供给其他业务系统录入。本发明可抓取C/S构架中的WINDOWS窗口中的控件数据，对其他业务系统进行窗口数据抓取，并将抓取到的数据按照可配置的格式写入文件，提供给其他系统的数据的输入。
一种数据抓取系统

[发明专利]多平台爬虫调度方法、装置和存储介质-CN201911236647.3在审
发明人：陈伟杰;高继勇 -专利权人：北京创鑫旅程网络技术有限公司
申请日： 2019-12-05 - 公布日： 2020-04-17 - 主分类号： G06F16/951 文献下载
摘要：本发明的方法包括：获取待爬虫任务的配置信息，待爬虫任务的配置信息包括多个数据来源平台的标识、N个数据抓取平台的类型标识、与每个数据来源平台对应的抓取开始时间以及待爬虫任务对应的多个爬虫子任务的相关信息，爬虫子任务的相关信息包括：数据来源平台与数据抓取平台的对应关系以及多条待抓取数据的属性信息，N为大于或等于1的整数；根据待爬虫任务的配置信息和预设的数据抓取分发算法，获得每个爬虫子任务的数据抓取调度信息；根据数据抓取调度信息，抓取数据。在抓取数据时，可以同时对多个数据抓取平台的抓取任务进行管理，提高管理效率。
平台爬虫调度方法装置存储介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条